PR-OPD: Privileged Representation On-policy Self-Distillation for Agentic Reinforcement Learning
特权表征在线策略自蒸馏用于智能体强化学习
🧭 Agent RL · 特权表示自蒸馏 ★ 深度解读
University of Florida · University of Illinois at Chicago · Case Western Reserve University · Vanderbilt University · Weill Cornell Medicine
提出 PR-OPD，用分层隐藏状态对齐替代 token 概率蒸馏，把智能体自生成技能的特权优势传给无技能策略，推理零额外开销
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的 RL 训练中，若手头有事后信息（用户真实意图、成交/退货、人工反馈），可让同一策略先跑 GRPO，再对每条轨迹生成 hindsight skill，用无技能/有技能两次前向做 teacher；蒸馏目标用隐藏状态对齐，而不是输出 logits/KL。很多点击/转化信号是稀疏 episode reward，这样能把事后信息变为稠密监督。
- 工程实现很轻：只增加一个每层轻量 MLP projector（512 维隐藏层），teacher 与 student 共享权重，推理时丢弃 projector；不引入外部 teacher 模型、技能库或额外推理开销，适合线上部署。
- 小模型直接对齐原始 hidden state 可能崩，务必保留 projector；并且要对齐所有层而非只 last layer，因为技能信息在中间层最强；先 warm start 是关键，WebShop 上 N=120 优于 N=100，10-30 个监督步已经能拿到大部分收益。业务里可先纯 reward 训练到一定成功率，再开启表示蒸馏。
- 有些改进不会体现在 top-1/token 概率上（如 action token 概率几乎不变但隐藏状态大幅变化），所以训练日志不能只看 loss 或 token accuracy；可以通过线性 probe 诊断隐藏状态是否携带可迁移信息，再决定用表示对齐。